{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Hands-on!\n",
    "\n",
    "Nessa prática, sugerimos alguns pequenos exemplos para você implementar sobre o Spark."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "### Bisecting K-Means\n",
    "\n",
    "Na prática `KMeans` foi visto como realizar clusterização utilizamos o algoritmo `K-Means`. Utilize a prática como base e aplique o algoritmo `Bisecting K-Means` sobre o dataset `iris` e compare com os resultados obtidos com o `K-Means`. \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Latent Dirichelet Allocation\n",
    "\n",
    "O algoritmo de modelagem de tópico, Latent Dirichelet Allocation - LDA, é um algoritmo voltado para detecção de um conjunto de tópicos a partir de um conjunto de documentos. No diretório `datasets`, está presente uma coleção de documentos referentes às obras de Machado de Assis, `machado-assis.tar.bz2`, cujo nome de cada arquivo contém o estilo literário da obra. Por exemplo `poesia-almada.txt` é a obra O Almada do estilo poesia.\n",
    "\n",
    "Utilize todos os documentos para gerar um modelo LDA de forma a detectar quais são os `k` tópicos mais relevantes e as palavras associadas, e se estes estão relacionados aos estilos de cada documento.\n",
    "\n",
    "Lembre-se de utilizar `Pipeline` para facilitar as transformações necessárias. Além disso, você pode utilizar o algoritmo `TF-IDF` visto na aula 12 para criar o feature vector de cada documento.\n",
    "\n",
    "- Os tópicos encontrados e as palavras de cada tópico representam os estilos literários de forma correta?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Classificação"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na aula 13, utilizamos alguns algoritmos de classificação suportados pelo pyspark. Neste exercício, escolha dois algoritmos de classificação e aplique sobre dos documentos de Machado de Assis do exercício anterior para realizar a classificação do estilo literário de cada documento.\n",
    "\n",
    "Lembre-se de separar os dados utilizando `CrossValidator` para realizar a validação do modelo gerado. Uma dica é utilizar `TF-IDF` para gerar o vetor de features que será utilizado pelos classificadores escolhidos.\n",
    "\n",
    "- Qual foi o melhor modelo encontrado?\n",
    "- Quais os escores das métricas de avaliação?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Apache Toree - PySpark",
   "language": "python",
   "name": "apache_toree_pyspark"
  },
  "language_info": {
   "codemirror_mode": "text/x-ipython",
   "file_extension": ".py",
   "mimetype": "text/x-ipython",
   "name": "python",
   "pygments_lexer": "python",
   "version": "3.6.3\n"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}
